[レポート] Scaling to new heights with Amazon Redshift multi-cluster architectureに参加しました #AWSreInvent #ANT339

はじめに

データ事業本部のkobayashiです。ラスベガスで開催されていたre:Invent2024に現地参加しました。
本記事は AWS re:Invent 2024 のセッション「ANT339 | Scaling to new heights with Amazon Redshift multi-cluster architecture」のセッションレポートです。

このセッションでは、オンプレミスからのAmazon Redshiftへの移行についてマルチクラスターアーキテクチャの利点が紹介されました。その中では、リソースの干渉やスケーリングの制限のあるシングルクラスターアーキテクチャに比べハブアンドスポークモデルを使用したマルチクラスターはリソース割り当てとスケーラビリティが可能であることが紹介されました。
また事例紹介としてGE Aerospaceの内容が詳細に説明され、シングルクラスターからマルチクラスターへとスケールアップしたこと、そしてコストの40%削減とパフォーマンスの向上を行ったことが紹介されました。

セッションの概要

タイトル

ANT339 | Scaling to new heights with Amazon Redshift multi-cluster architecture

概要

AWS customers use Amazon Redshift to modernize their data analytics workloads and deliver insights for their businesses. Learn how to design your analytics system to scale with your business needs. Explore the different patterns of multi-cluster architectures and best practices to deploy them cost-effectively. Explore how GE Aerospace overcame challenges with its on-premises system by using a combination of architectural patterns to create an extensible design that met strict compliance and security requirements, achieved performance targets, and shared data across its enterprise.

• Level: 300
• Session Type: Breakout session

スピーカー

• Alcuin Weidus, Sr Principal Data Architect, GE Aerospace
• Naresh Chainani, Director of Engineering, AWS
• Anusha Challa, Sr. WW SSA Redshift, AWS

内容

はじめにセッション概要です。
Amazon Redshiftのマルチクラスターのアーキテクチャの紹介がありました。ここではシングルクラスター・モノリシックアーキテクチャの課題、マルチクラスターのスケーラビリティとメリットの紹介とマルチ草スターを採用してその恩恵を受けているGE Aerospaceの事例紹介が行われました。

はじめにシングルクラスターのアーキテクチャと課題が紹介されました。ここでは複数のワークロードが共通のコンピュートリソースを共有している際の課題が説明されました。

• 「スケーラビリティの制約」では一定の範囲を超えてスケールできない、使用量が増えるとパフォーマンスのボトルネックが発生
• 「ワークロードの干渉」ではすべてのワークロードがCPU、メモリ、I/Oリソースを奪い合い、1つのワークロードが他のワークロードのパフォーマンスに影響を与える可能性がある
• 「リソースの競合」には チェックされていない不適切なクエリや、暴走プロセスからの大量の接続により クラスター全体のパフォーマンスに影響を与える可能性がある

といった説明でした。
一方、マルチクラスター（(Hub and Spoke モデル）では各ワークロードは別々のエンドポイントで実行されるためワークロード間で干渉がなく、データの取り込み(Ingestion)ワークロードは、中央のストレージにアクセスするための準備を行い、新しいワークロードのために数秒以内に新しいエンドポイントを展開が可能ということでした。

次にシングルクラスターで複数の部門（人事、R&D、財務、マーケティング、カスタマーサービス、営業）が共通のコンピューティングリソースを使った場合の課題をが説明されました。

• すべての使用量の合計のピークに対応するようにプロビジョニングしようとするため、しばしばコストが高くなる
• 財務、営業などの部門が使用しているコンピュートに基づいて使用料を請求できるようにする要件がある
• 規制要件の違いとして財務部門はSarbanes-Oxley法などの規制により7年間のデータ保持が必要だが、R&D部門にはそれほど長期の保持は不要

ということでした。これに対してマルチクラスターでは

• 各グループは個別のエンドポイントを持つ
• グループは、コンプライアンス要件に従ってデータ資産を共有する
• すべてのグループは、統合分析のために共有データ資産の共通ビューを持つ

といったことが可能になりこのことから
各部門が自身のデータを管理しデータオーナーとして機能すて他部門と共有するデータの範囲を自ら決定でき、各部門が自部門のワークロードに最適化されたリソースを使用できるようになるということでした。

次に大規模なAmazon Redshiftのマルチクラスターデザインの説明がありました。

• マルチクラスターアーキテクチャの中核にあるのは、Redshiftのマネージドストレージレイヤーで、これは分析に高度に最適化されたカラムナーストレージレイヤーで、様々な最適化が施されていて、分析クエリを非常に高速かつコスト効率よく実行できる
• コンピュートレイヤーでは、大規模な並列コンピューティングが提供され プロビジョンドコンピュートとサーバーレスをニーズに応じてサーバーレスとプロビジョンドコンピュートを組み合わせて使用する

この柔軟性により、異なるワークロードやユースケースに対して最適なリソース配分が可能になり、効率的かつスケーラブルなデータ分析環境を構築できるようになるということでした。

またAWS Lake Formationを使用したガバナンスアーキテクチャについての解説もありました。
データオーナーとしては様々なデータソースをAWS Glue Data Catalogで取り扱うことでカラムレベル、行レベル、タグベースのアクセス制御を行うことができ、データ利用者に指定した範囲のデータを提供することが可能だということです。データガバナンスの一元管理が可能という点では非常にメリットが多いかと思います。

次にGE Aerospace社の担当者が導入事例を紹介しました。
その中で強調されていたのは以下の内容でした。

• 単純な "Lift & Shift" は避ける
  • オンプレミスのアーキテクチャをそのままクラウドに移行するのではなく、クラウドのメリットを活かした設計が必要
  • ワークロードの特性を深く分析し、適切なアーキテクチャを選択する
• ワークロード分析
  • ホットスポットの特定
  • 専用コンピューティングリソースの割り当て
  • コストの可視化
• "Base Rent and Spike" モデル
  • 通常のワークロードに対する基本プロビジョニング
  • 予期せぬスパイクに対する柔軟な対応
• ジェネレーティブAIへの対応
  • データ共有と連携の増加
  • 高度な本番アプリケーションとの統合
  • RedshiftとSagemaker Lakehouseの活用

まとめ

「ANT339 | Scaling to new heights with Amazon Redshift multi-cluster architecture」のセッションレポートをお届けしました。

最後まで読んで頂いてありがとうございました。